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Інформаційна технологія розпізнавання 
емоційної міміки на обличчі людини 


В роботі наведено цілісну інформаційну технологію аналізу мімічних виразів емоцій на обличчі 
людини. Міміка емоційних станів людини описана у вигляді лінійної комбінації деяких базових 
станів. Параметри моделі отримуються за допомогою методу гнучких шаблонів з використанням 
ХМОВВУ5-кривих. Довільна емоція конкретної людини розпізнається як опукла комбінація станів 
запропонованого базового простору. 


В роботі розглядається задача моделювання мімічних виразів емоцій згідно із 
запропонованим в (1| формальним описом базових емоцій. Для пошуку простору 
характеристичних ознак, побудови базису цього простору, відтворення похідних 
емоційних станів з наступним застосуванням опуклої комбінації, пропонується 
наступне |2), |З: 

- створення множини фотографічних зображень мімічних проявів на обличчі, які 
відповідають ситуаціям, у яких виникають базові емоції, опис міміки, властивої цим 
емоціям; 

- аналіз отриманої множини з метою виявлення областей, які містять харак- 
теристичні ознаки емоцій та їх опис; 

- створення у просторі характеристичних ознак базису для наступного розкладу по 
ньому довільних векторів мімічних проявів емоційних станів (як опуклої комбінації 
базисних емоційних станів). 

В |2| запропоновано для моделювання міміки емоційних станів людини 
використовувати лінійну опуклу комбінацію деяких базових станів. В ході цих 
досліджень було отримано 21 характеристичну ознаку, комбінація яких утворює 
базис мімічних виразів емоцій. Тобто мімічні вирази емоції (Ет) були представлені 


у вигляді вектора: 

Ет? «(цуофадієїов, (1 
деш,є Їоз1| - характеристична мімічна ознака (при и - 0 - немає ознаки, а прий - 1 
вплив ознаки максимальний); перелік ознак наведений в табл. І. 

Набір 8 векторів утворює базис (В,, де і - 1,..., 21, - .» 9) простору 
мімічних проявів емоційних станів. 

Таким чином, довільний вектор Р-(ці, ..., 21), отриманий шляхом аналізу 
зображення з якимось емоційним станом, можна розкласти по базису В 1 отримати 
опис емоції як опуклої комбінації: 

ха(В"Ву!В'Ь, (2) 
за умови 
4аек(В"Ву)»о, (3) 
де В - базисна матриця емоційних станів (табл. 1); 
В транспонована матриця В; 
Ь - вектор, який описує мімічний прояв довільного емоційного стану; 
х з (а1,..., 0), де а; - коефіцієнти опуклої комбінації (3 а;- 1, а; є Голі) для кожної 
з 8 базових емоцій. 
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У запропонованій в |21 моделі базис простору мімічних ознак емоційних станів 
будується на основі апріорного досвіду експериментатора, вимагає певної квалі- 
фікації і, відповідно, дає неоднозначний результат - констатація одного і того ж 
емоційного м'язового прояву у різних людей розрізняється. Для того щоб перейти 
від феноменологічного визначення характеристичних мімічних ознак до певної їх 
формалізації, у |3| запропоновано використати власну модифікацію методу моделей, 
які деформуються. Як параметричні криві, для виділення характерних ознак рис 
обличчя, запропоновано використати моделі, які задаються з допомогою нерівно- 
мірних раціональних базисних сплайнів - МОВВУ-кривих (4), 131. 

В рамках проведених досліджень була побудована модель, яка складається з 
гнучких шаблонів - МОКВ5-кривих. Виходячи з того, що опорні точки МОВВЗ- 
кривої однозначно визначають саму криву, до розгляду брались тільки вектори 
опорних точок. Для побудови базису були використані наступні вектори опорних 
точок (табл. 1). 


Таблиця 1 - Мімічні прояви для формування базових емоцій 


о 
З іа - з 
н | Опис мімічних проявів в розрізі областей обличчя 
а Для брів, очей та рота - 
7 
й Область обличчя Мімічний прояв ак задник 
й Зморшки в центрі чола рндоморщовнЬ є 102! 
(прим - 0 
о Чоло Одна горизонтальна зморшка  |немає зморшки, а приц - І 
из (Область Між бровами вертикальна зморшка максимальна) 
наго, зморшка | 
ца брів Внутрішні кутики підняті 
вверх о 
И5 Брови Опущені та зведені рзіз0-4 
Иб Припідняті Ліва брова 
и? Підняті та зведені 
Ц8 Внутрішні кутики підняті Рана 
Цо Верхні | Напружені г іон є 
ро повіки | Підняті (видно склеру) ен Ліва верхня 
ШИ Область Припідняті ПОВІКа 
у» | ОЧей 
(очі, Нижні  |ПрИпідняті та ненапружені б ,аа-я 
із | ПОВІКИ» 1 повіки . рефобоо 
основа Припідняті та напружені Ліва нижня 
носа) повіка 
Ша «Гусячі лапки» біля зовнішніх 
Зморшки | кутиків 
5 Зморшка під повіками 
Шб роє Закритий, губи стиснуті 
ш? | Нижня Розкритий 
із |частина Губи Кутики губ відтягнуті в сторони та різ 0-16 сл 
обличчя сивія припідняті 
М 
іо | (ніс, кутики) Розтягнуті та напружені Губи 
Цзо | щоКИ, Кутики губ опущені 
узі | рот) Зморшки п ДИ від носа до кутиків 
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У (2, І3| запропонована математична модель та цілісна інформаційна технологія 
для автоматичного визначення довільного емоційного стану конкретної людини як 
опуклої комбінації деяких базових станів. Для цього з допомогою математичної 
моделі та оригінального програмного забезпечення створюється базовий простір 
емоційних станів конкретної людини. В подальшому довільний емоційний прояв цієї 
людини розкладається як опукла комбінація емоційних станів в цьому просторі. Але 
в цій моделі гнучкі шаблони налаштовувалися на прояв конкретної міміки з допомогою 
ручного редагування певної кількості параметрів - контрольних точок МІВВ5- 
кривих на поверхні зображення. Подальші дослідження у цьому напрямку були 
направлені на модифікацію методу контурних моделей, які деформуються. Для цілей 
автоматичного деформування моделей було запропоновано використовувати 
апроксимацію В-сплайн кривих (41. 


І В-сплайн апроксимація кривих 


Скористаємося простою властивістю МОВВУ5-кривих: при у, - 1 МОВВЗ-крива 


зводиться до В-сплайн кривої. Ця проста властивість випливає з ідентичності 
опорних точок ( р, ) в однорідній формі і рівності знаменника 1. Беручи до уваги, що 


при моделюванні гнучких шаблонів приймалося уу, - 1, то для спрощення апрок- 


симації можна перейти до В-сплайн кривих. 
Задача В-сплайн апроксимації є задачею підгонки В-сплайн кривої з К 


т - - Т 
опорними точками ро розРка| до точкової кривої а - «зам! ,дем»б 
(зазвичай М 2? К) для значень параметра и," ьй,, |. Така задача апроксимації 


приводить до перевизначеної системи лінійних рівнянь У:р-а: 


Хо (шо) Ма (шо) В 4, 
Ми) Мк) 5 В є | 4) 
Рка 
М (іа) но МУ (шу) РУ 


де М(и) - В-сплайн базисна функція. 


Одним з шляхів отримання рішення перевизначеної системи лінійних рівнянь (4) є: 


М'М-рам" а, (5) 
ЗВІДКИ 

реЦ(м'м) «ма, (6) 
при 

аа мпм)" ь о. (7) 


Для застосування В-сплайн апроксимації потрібно вміти отримувати на 
зображенні точкові криві а з а пове і , які відповідають потрібним контурам, з 


тим, щоб далі застосувати перетворення (5 - 7). 
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2 Технології оконтурення та скелетизації зображень 


Існує багато технологій для отримання на зображенні точкових кривих 
т СН . . - 
аа РОРОРАНИИ ні , які відповідають контурам брів, очей та рота. В основному вони 


базуються на отриманні контуру зображення як різкої границі між елементами 
зображення (з допомогою згорток, аналізу кольору тощо) з наступною скелетизацією 
(отриманням контуру одиничної товщини). 

В даній роботі для оконтурення зображення пропонується застосувати імітацію 
роботи зорових рецепторів ока людини. Відомо |6|, що очне яблуко знаходиться в 
неперервному мікрорусі. Питання про ці мікрорухи має неоднозначне трактування. 
Можна передбачити, що ці мікрорухи є необхідною умовою функціонування апарату 
виділення контурів на зображенні. Для перевірки цього заставимо рецептори 
сітківки штучного ока зафіксувати запропоноване зображення, потім незначним 
чином (наприклад, на 1 точку) здвинемо зображення в сторону і знову дамо 
можливість рецепторам ока зафіксувати його. В цей момент на виходах рецепторів 
з'явиться відносна зміна сигналу. Візьмемо значення змін рецепторів та занесемо їх 
у відповідні точки на зображенні - отримаємо контури зображення (рис. 1). 


Рисунок І - Зображення до та після оконтурення 


Імітація вмісту рецепторів на сітківці ока проходить наступним чином. Є зоб- 
раження та напрямок мікроруху (наприклад, діагонально на М точок). Спочатку 
конкретний рецептор «бачить» точку з координатами (х, у), а після мікроруху - 
з координатами (х-М, у-М). Різниця кольорових площин між вхідною точкою та 
точкою, яка виявилась на її місці в результаті мікроруху, - це 1 є відносна зміна 
вхідного дратівного сигналу (для конкретного рецептора). 

Отримані таким чином контури потрібно привести до «скелетного» вигляду. 
Тобто потрібно виділити деяку середню лінію, яка б правильно відображала 
структуру контуру. Для цього застосуємо відомий алгоритм Зонга - Суня |7Ї. 
Отриманий таким чином «скелет» контуру губ зображено на рис. 2. 


тн 


Рисунок 2 - Точкова крива губ, отримана після скелетизації контуру 


Основна ідея алгоритму Зонга - Суня полягає в тому, що на кожному кроці, 
проходячи по зображенню рамкою 3 х 3, перевіряється приналежність кожного 
пікселя до границі заданої зв'язної області. Якщо умови перевірки виконуються, то 
піксель вилучається з області. Незважаючи на кількість виконаних кроків, область 
залишиться зв'язаною, у крайньому випадку вона виродиться в лінію товщиною в 
один піксель. 
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3 Технологія аналізу мімічних виразів емоцій 


Для аналізу мімічних виразів емоцій запропонована наступна цілісна інфор- 
маційна технологія |21, (3: 

1) для конкретної людини отримуємо множину із восьми фотографічних зображень 
обличчя, на якому відтворена мімічна реакція на ситуації, які відповідають базовим 
емоціям: радість, горе, надія, страх, задоволення, гнів, інтерес, зневага; 

2) у відповідному програмному забезпеченні нормуємо фотографічні зобра- 
ження (по відстані між центрами очей); 

3) за допомогою відомих технологій оконтурення та скелетування зображень 
(п. 2) отримуємо контури наступних частин обличчя: зморшки в області чола, брів, 
верхніх повік, нижніх повік, зморшки «гусячі лапки» біля зовнішніх кутиків очей, 
зморшки під повіками, рот, зморшки від носа до кутиків губ; 

4) використовуючи гнучкі шаблони у вигляді М ВВУ5-кривих |3| та В-сплайн 
апроксимацію (п. 1), отримаємо множину опорних точок МОВВУ5-кривої для шаб- 
лонів, які характеризують кожну з восьми базових емоцій (табл. 1): 


чо Го од МА - 
ре Їх а З 4 і - 0...4,е -1...8 - шаблон лівої брови для 5 емоційних станів; 


І 


фена рема, б -к. і - 0...5,е «1...8 - шаблон лівої верхньої повіки для 8 емоційних 


станів; 

зо з за ще ді " й п 
руобов | ПМ ,і -0...5,е -1...8 - шаблон лівої нижньої повіки для 3 емоційних 
станів; 
у а Їх зн ої, і -« 0...16,е «1...3 - шаблон губів для 8 емоційних станів; 


та для опису зморшок артвья деякі характеристичні мімічні ознаки (табл. 1): 


зда ші? п р о Ї ,е 21...3 - характеристичні мімічні ознаки (табл. 1); 


5) з восьми отриманих множин опорних точок МОВВУ5-кривих (шаблонів) та 
вектора характеристичних мімічних ознак для зморшок побудуємо базис емоційних 
станів (В) конкретної людини: 


| ціФ аа ) 
РО. ока. СОМ р теля 
Вер р28)| де Р/'Ф «| 1 | де К-ї..8 (8) 
рака рою й п 2 4п,,п, ж5,п, с-16. 
Ра рф 


В подальшому для аналізу довільного зображення обличчя цієї людини повто- 
римо пункти 1) - 4) для зображення довільної емоції та отримаємо вектор: 


и? 
реа У 0 рені А 
Ье|РЗО0| де Р/? «| 1 | де (9) 
РУ? ріг ; тефауть ок 9-16: 
р? 
Розкладемо його по побудованому базису В (8): 


В'В'хаев'.ь, (10) 
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звідки 
х-|(в'в) -В'Ь, (11) 
при 
т -1 
че (в"в) о. (12) 
Коефіцієнти розкладу х - (а, ..., баз) будуть вказувати на конкретний вклад 


кожної з восьми базових емоцій у довільну емоцію Р. 


4 Результати дослідження 


За умови переходу від феноменологічного опису емоцій до ситуацій, у яких 
емоції виникають, була створена множина фотографічних зображень базових емо- 
цій (ПІ), п. 1). 

Далі з отриманих зображень виділялися описаними вище способами (п. 2) 
необхідні для подальшої обробки контури (брови, очі, губи тощо). Рис. 3 містить 
контури правої брови для емоцій: радість, горе, надія, страх, задоволення. 


зок я, з 


Радість Горе Надія Страх Задоволення 
Рисунок 3 - Контури правої брови для деяких емоцій 


На рис. 4 контури правої брови представлені у вигляді точкової кривої. 
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Рисунок 4 - Графік точкових кривих правої брови для деяких емоцій 


На графіку видно, що положення отриманих контурів правої брови від- 
повідають опису міміки емоцій. Тобто видно, що для емоцій задоволення та радості 
особливого прояву міміки немає, для емоцій горя та надії - внутрішні кутики підняті 
догори, а для емоції страху - брова піднята та зведена. 

До отриманих контурів застосовувались перетворення (5 - 7) для отримання 
множин керуючих точок МОВВЗ5-кривих. Рис. 5 містить графік контуру та відповідну 
цьому контуру МК В5-криву для положення правої брови при емоції радості. 
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Рисунок 5 


Рисунок 6 містить результат прив'язки гнучких шаблонів (МОКВЗ8-кривих) до 
відповідних фрагментів обличчя для всіх базових емоцій. 


гнів інтерес зневага страх 
Рисунок 6 - Представлення базових емоцій у контурному вигляді 
з допомогою МОЖВВУ5-кривих для конкретного актора 


З восьми отриманих множин опорних точок МОКВУ-кривих (шаблонів) та 
вектора характеристичних мімічних ознак для зморшок був побудований базис (8) 
емоційних станів (В) конкретної людини. 

Аналогічним чином з фотографічного зображення довільної емоції, що 
відтворює ситуацію, у якій виникає відчуття провини (рис. 7), був побудований 
відповідний вектор Р (9). 

Із застосуванням перетворення (10 - 12) був проведений розклад отриманого 
вектора Ь по базису В. 

Для емоційного стану «провина» були отримані наступні коефіцієнти опуклої 
комбінації базових станів: 


8 
а, є 0,а, 207, а, а 0, а, з 0, а, а 03, а а 0, а, а 0, а, 20,3 а, 21, 
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де а, відповідають наступним емоційним станам: радість, горе, надія, страх, задо- 
волення, гнів, інтерес та зневага. Згідно з |1|, стан, який складається з комбінацій 
задоволення ( а, - 0.3 ) та горя ( а, - 0.7 ), відповідає емоції «провина». 


Рисунок 7 - Відтворення ситуації, у якій виникає емоція провини 


Висновки 


Запропонована математична модель та цілісна інформаційна технологія для 
автоматичного визначення довільного емоційного стану конкретної людини як 
опуклої комбінації деяких базових станів. Для цього з допомогою математичної 
моделі та оригінального програмного забезпечення створюється базовий простір 
емоційних станів конкретної людини. В подальшому довільний емоційний прояв цієї 
людини розкладається як опукла комбінація емоційних станів в цьому просторі. 

Для побудови базису простору емоційних станів використовуються гнучкі 
шаблони контурів основних зон обличчя. Гнучкі шаблони описуються за допомогою 
МОВВУ-кривих. Налаштування шаблону на точковий контур конкретного зображення 
проходить з допомогою В-сплайн апроксимації, шляхом розв'язку перевизначеної 
неоднорідної системи лінійних рівнянь. 

Запропонована технологія має практичну цінність в системах візуального 
контролю за операторами складних виробництв (атомна енергетика тощо) для 
автоматичного контролю за їх емоційним станом. 
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Ю.В. Крак, О.В. Бармак, Г.М. Ефимов 

Информационная технология распознавания змоциональной мимики на лице человека 

В работе приведена целостная информационная технология анализа мимических вьтражений змоций 
на лице человека. Мимика змоциональньтх состояний человека описана в виде линейной комбинациий 
некоторьгх базовьіх состояний. Параметрьт модели получают при помощи метода гибких шаблонов с 
использованиєм МОВВ5-кривьх. Произвольная змоция конкретного человека распознаєтся как 
вьшуклая комбинация состояний предложенного базового пространства. 


Стаття надійшла до редакції 04.02.2008. 
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